Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.
translated by 谷歌翻译
Sarcasm is a form of irony that involves saying or writing something that is opposite or opposite to what one really means, often in a humorous or mocking way. It is often used to mock or mock someone or something, or to be humorous or amusing. Sarcasm is usually conveyed through tone of voice, facial expressions, or other forms of nonverbal communication, but it can also be indicated by the use of certain words or phrases that are typically associated with irony or humor. Sarcasm detection is difficult because it relies on context and non-verbal cues. It can also be culturally specific, subjective and ambiguous. In this work, we fine-tune the RoBERTa based sarcasm detection model presented in Abaskohi et al. [2022] to get to within 0.02 F1 of the state-of-the-art (Hercog et al. [2022]) on the iSarcasm dataset (Oprea and Magdy [2019]). This performance is achieved by augmenting iSarcasm with a pruned version of the Self Annotated Reddit Corpus (SARC) (Khodak et al. [2017]). Our pruned version is 100 times smaller than the subset of SARC used to train the state-of-the-art model.
translated by 谷歌翻译
Heteroscedastic regression models a Gaussian variable's mean and variance as a function of covariates. Parametric methods that employ neural networks for these parameter maps can capture complex relationships in the data. Yet, optimizing network parameters via log likelihood gradients can yield suboptimal mean and uncalibrated variance estimates. Current solutions side-step this optimization problem with surrogate objectives or Bayesian treatments. Instead, we make two simple modifications to optimization. Notably, their combination produces a heteroscedastic model with mean estimates that are provably as accurate as those from its homoscedastic counterpart (i.e.~fitting the mean under squared error loss). For a wide variety of network and task complexities, we find that mean estimates from existing heteroscedastic solutions can be significantly less accurate than those from an equivalently expressive mean-only model. Our approach provably retains the accuracy of an equally flexible mean-only model while also offering best-in-class variance calibration. Lastly, we show how to leverage our method to recover the underlying heteroscedastic noise variance.
translated by 谷歌翻译
变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。
translated by 谷歌翻译
傅立叶Ptychographic显微镜（FPM）是一种成像过程，它通过计算平均值克服了传统的传统显微镜空间带宽产品（SBP）的限制。它利用使用低数值孔径（NA）物镜捕获的多个图像，并通过频域缝线实现高分辨率相成像。现有的FPM重建方法可以广泛地分为两种方法：基于迭代优化的方法，这些方法基于正向成像模型的物理学以及通常采用馈送深度学习框架的数据驱动方法。我们提出了一个混合模型驱动的残留网络，该网络将远期成像系统的知识与深度数据驱动的网络相结合。我们提出的架构LWGNET将传统的电线流优化算法展开为一种新型的神经网络设计，该设计通过复杂的卷积块增强了梯度图像。与其他传统的展开技术不同，LWGNET在PAR上执行时使用的阶段较少，甚至比现有的传统和深度学习技术更好，尤其是对于低成本和低动态范围CMOS传感器。低位深度和低成本传感器的性能提高有可能显着降低FPM成像设置的成本。最后，我们在收集到的实际数据上显示出始终提高的性能。
translated by 谷歌翻译
由于多个字体，简单的词汇统计，更新的数据生成工具和写入系统，场景 - 文本识别比非拉丁语语言更好地比非拉丁语语言更好。本文通过将英文数据集与非拉丁语语言进行比较，检查了低精度的可能原因。我们比较单词图像和Word Length Statistics的大小（宽度和高度）等各种功能。在过去的十年中，通过强大的深度学习技术生成合成数据集具有极大地改善了场景文本识别。通过改变（i）字体的数量来创建合成数据的数量和（ii）创建字图像来对英语进行几个受控实验。我们发现这些因素对于场景文本识别系统至关重要。英语合成数据集使用超过1400字体，而阿拉伯语和其他非拉丁数据集使用少于100个字体的数据生成。由于这些语言中的一些是不同区域的一部分，我们通过基于地区的搜索来加入额外的字体，以改善阿拉伯语和Devanagari中的场景文本识别模型。与以前的作品或基线相比，我们将阿拉伯MLT-17和MLT-19数据集的单词识别率（WRRS）提高了24.54％和2.32％。对于IIT-ILST和MLT-19 Devanagari数据集，我们实现了7.88％和3.72％的WRR收益。
translated by 谷歌翻译
场景文本识别低资源印度语言是挑战，因为具有多个脚本，字体，文本大小和方向等复杂性。在这项工作中，我们调查从英语到两个常见的印度语言的深度场景文本识别网络的所有层的转移学习的力量。我们对传统的CRNN模型和星网进行实验，以确保连续性。为研究不同脚本的变化影响，我们最初在使用Unicode字体呈现的综合单词图像上运行我们的实验。我们表明英语模型转移到印度语言简单的合成数据集并不实用。相反，我们建议由于其n-gram分布的相似性以及像元音和结合字符的视觉功能，因此在印度语言中应用转移学习技术。然后，我们研究了六种印度语言之间的转移学习，在字体和单词长度统计中不同的复杂性。我们还证明，从其他印度语言转移的模型的学习功能与来自英语转移的人的特征视觉更接近（并且有时甚至更好）。我们终于通过在MLT-17上实现了6％，5％，2％和23％的单词识别率（WRRS ）与以前的作品相比。通过将新颖的校正Bilstm插入我们的模型，我们进一步提高了MLT-17 Bangla结果。我们还释放了大约440个场景图像的数据集，其中包含了500古吉拉蒂和2535个泰米尔单词。在MLT-19 Hindi和Bangla Datasets和Gujarati和泰米尔数据集上，WRRS在基线上提高了8％，4％，5％和3％。
translated by 谷歌翻译
在本文中，我们使用混合整数编程（MIP）探索基于模型的培训鲁棒和可解释的二金属化回归模型的培训鲁棒和可解释的二值化回归模型。我们的MIP模型通过使用加权目标来余额来实现预测边距和模型大小的优化，即：最大限度地减少错误分类的培训实例的总余量，最大限度地提高了正确分类的培训实例的总余量，并最大限度地提高了整体模型正则化。我们进行两组实验，以便在多个分类数据集的标准和损坏版本上测试MIP模型的分类准确性。在第一组实验中，我们表明我们的MIP模型优于等效的伪布尔优化（PBO）模型，并在标准数据集中的分类精度方面实现了对逻辑回归（LR）和梯度下降（GD）的竞争结果。在第二组实验中，我们表明我们的MIP模型在分类准确性方面优于大多数损坏的数据集的分类准确性。最后，我们在目视展示了MIP模型在其在MNIST DataSet上的学习参数方面的可解释性。总体而言，我们展示了使用MIP培训培训稳健和可解释的二值化回归模型的有效性。
translated by 谷歌翻译
本文提出了一种名为定位变压器（LOTR）的新型变压器的面部地标定位网络。所提出的框架是一种直接坐标回归方法，利用变压器网络以更好地利用特征图中的空间信息。 LOTR模型由三个主要模块组成：1）将输入图像转换为特征图的视觉骨干板，2）改进Visual Backone的特征表示，以及3）直接预测的地标预测头部的变压器模块来自变压器的代表的地标坐标。给定裁剪和对齐的面部图像，所提出的LOTR可以训练结束到底，而无需任何后处理步骤。本文还介绍了光滑翼损失功能，它解决了机翼损耗的梯度不连续性，导致比L1，L2和机翼损耗等标准损耗功能更好地收敛。通过106点面部地标定位的第一个大挑战提供的JD地标数据集的实验结果表明了LOTR在排行榜上的现有方法和最近基于热爱的方法的优势。在WFLW DataSet上，所提出的Lotr框架与若干最先进的方法相比，展示了有希望的结果。此外，我们在使用我们提出的LOTRS面向对齐时，我们报告了最先进的面部识别性能的提高。
translated by 谷歌翻译
最近在体现AI中的研究已经通过使用模拟环境来开发和培训机器人学习方法。然而，使用模拟已经引起了只需要机器人模拟器可以模拟的任务：运动和物理接触的任务。我们呈现IGIBSON 2.0，一个开源仿真环境，通过三个关键创新支持模拟更多样化的家庭任务。首先，IGIBSON 2.0支持对象状态，包括温度，湿度水平，清洁度和切割和切片状态，以涵盖更广泛的任务。其次，IGIBSON 2.0实现了一组谓词逻辑函数，该逻辑函数将模拟器状态映射到烹饪或浸泡等逻辑状态。另外，给定逻辑状态，IGIBSON 2.0可以对满足它的有效物理状态进行示例。此功能可以以最少的努力从用户生成潜在的无限实例。采样机制允许我们的场景在语义有意义的位置中的小对象更密集地填充。第三，IGIBSON 2.0包括虚拟现实（VR）界面，以将人类浸入其场景以收集示威操作。因此，我们可以从这些新型任务中收集人类的示威活动，并使用它们进行模仿学习。我们评估了IGIBSON 2.0的新功能，以实现新的任务的机器人学习，希望能够展示这一新模拟器的潜力来支持体现AI的新研究。 IGIBSON 2.0及其新数据集可在http://svl.stanford.edu/igibson/上公开提供。
translated by 谷歌翻译